Continuous analytics : en quoi les stratégies Big Data conduisent-elles au DevOps ?

Cependant, malgré ces réussites, les entreprises concèdent souvent qu'elles ont dû faire face à plusieurs obstacles. Le plus important d'entre eux consiste en un « alignement inadéquat avec l'entreprise », à savoir que les objectifs de l'entreprise ne sont pas en adéquation avec la réalité des projets de Big Data. Viennent ensuite la résistance de l'entreprise et la conduite du changement, qui sont au coude à coude (41 %). Le Big Data implique un changement d'état d'esprit et l'évolution des méthodes de travail. Par conséquent, il nécessite une adaptation rapide des collaborateurs.
En dépit des succès engrangés, les cadres dirigeants constatent la persistance de barrières culturelles qui entravent la réalisation du plein potentiel et l'adoption commerciale complète du Big Data au sein du monde de l'entreprise. 52,5 % des cadres dirigeants rapportent que les obstacles de nature organisationnelle empêchent l'adoption d'initiatives à grande échelle par les entreprises en matière de Big Data. Ces barrières incluent également le manque d'alignement organisationnel, la résistance de l'entreprise et/ou la résistance à la technologie, ainsi que l'adoption insuffisante par les cadres intermédiaires, qui sont cités comme les facteurs les plus courants.
Le recours à une approche axée sur le DevOps permet de résoudre ces problèmes « d'alignement ». Il est intéressant de noter que les entreprises possédant une stratégie claire sur le Big Data ont souvent adopté très tôt des pratiques matures en matière de DevOps, ainsi que de livraison et d'intégration continues.
Derrière cet état de fait se cachent... les data scientists.

Pour ces experts, la science des données peut être considérée comme un voyage. Le processus met en œuvre plusieurs étapes, de l'acquisition, du nettoyage, de l'homogénéisation et de la modélisation statistique des données à l'interprétation et à la visualisation des résultats. L'ensemble de ces phases doit être maîtrisé afin d'extraire les informations qui permettront de prendre de meilleures décisions pour l'entreprise et d'entreprendre les actions correspondantes.
Pour implémenter une stratégie de Big Data de manière optimale, les experts des données doivent impérativement être en contact direct avec les équipes informatiques et les métiers. Étant d'un côté considérés comme des informaticiens par les métiers et de l'autre comme des membres des équipes métier par le pôle informatique, ils occupent une position particulière au sein de l'entreprise, ce qui en fait de parfaits missionnaires de l'approche DevOps. Les data scientists sont en effet les mieux placés pour comprendre les tenants et les aboutissants des données pour l'entreprise, pour définir quelles données doivent être intégrées au datalake et choisir quelles API doivent être implémentées pour que les utilisateurs de ces données aient accès à des informations opérationnelles (marketing, approvisionnement, risque, etc.) pertinentes.
La data science est un sport d'équipe. Les data scientists sont donc un pivot de l'entreprise. D'une part, ils sont amenés à travailler avec les membres de la direction qui sont à même de poser les questions pertinentes pour l'entreprise, lesquelles orienteront les recherches. D'autre part, ils doivent collaborer étroitement avec les équipes informatiques qui savent où sont les données et quelle est leur désignation dans le système. Cette collaboration et la bonne intégration des talents sont cruciales pour la réussite des projets liés à la data science et pour la satisfaction des data scientists, selon une étude du MIT.

Dans les pratiques actuelles, l'équipe du Big Data réunit des data scientists et des ingénieurs Big Data, qui peuvent être intégrés dans des équipes produit distinctes ou isolés dans leur propre service d'analyse. Avec le DevOps, les data scientists et les ingénieurs Big Data conçoivent des modèles analytiques et des algorithmes, et les stockent dans un système de contrôle de versions.
Ce code est testé et intégré automatiquement dans la branche de code principale, avant d'être déployé et surveillé en production. Ainsi, le DevOps garantit que les processus d'intégration continue et de déploiement continu sont unifiés à travers l'ensemble de l'organisation d'ingénierie.
Le fait de disposer d’une représentation visuelle du pipeline peut aider les data scientists à se représenter leur propre position dans la chaîne DevOps de l'entreprise. Dans certains cas, les data scientists peuvent intervenir au début du pipeline, par exemple, lorsqu'ils conçoivent des spécifications pour des applications qui injecteront des données en aval dans leurs modèles. Dans d'autres cas plus classiques, les data scientists interviennent à la fin du pipeline de DevOps et font partie intégrante de la boucle de retours vers les développeurs.

Comme les data scientists et les analystes représentent de nouveaux profils dans les équipes de développement, ils ont besoin de processus et d'outils supplémentaires afin de rendre la publication cyclique de produits analytiques plus rapide et fluide. Même si le DevOps et le Big Data ne sont pas directement liés, il est juste de dire que le DevOps bénéficie particulièrement au Big Data et que la quasi-totalité des projets de Big Data comporte au moins certains aspects de DevOps. Cela s'explique principalement par le fait que le Big Data est trop étendu et complexe pour être traité de manière traditionnelle.

Réciproquement, le Big Data est également extrêmement profitable au DevOps, en raison de la qualité des données obtenues. Lorsque l'on évoque le Big Data et le DevOps, les deux programmes qui viennent à l'esprit sont la gestion des données maîtres (Master Data Management, MDM) et la gouvernance des données. Ces deux programmes ont recours à différentes technologies pour gérer, définir et normaliser les données lorsqu'elles sont utilisées pour soutenir les processus d'entreprise internes ou les systèmes de production. Sans eux, il devient rapidement difficile pour les organisations d'interpréter les volumes massifs de données qu'elles consomment. L'intégration fluide des systèmes de gestion des données maîtres et de gouvernance des données dans un pipeline de Big Data permet aux entreprises de véritablement convertir leurs données en ressources. Par conséquent, dans un environnement de Big Data, ces deux systèmes sont des éléments essentiels de la chaîne d'outils du DevOps.

Selon une étude récente, 81 % des participants considèrent que la flexibilité et le DevOps sont essentiels à la réussite de la transformation numérique et selon les prévisions de Gartner, IDC et Forrester, les analyses liées au Big Data font partie des trois tendances stratégiques et des trois grandes technologies qui seront le moteur de la transformation numérique pour la fin de cette décennie.
Les organisations doivent être capables d'accélérer le processus d'innovation et la mise sur le marché de nouveaux produits et services afin de contribuer à la fidélisation des clients et à leur acquisition. Cela demande davantage d'informations opérationnelles et nécessite de nouvelles méthodes de travail axées sur la productivité. Les analyses et l'intégration continues, la rapidité des informations et la flexibilité de l'intégration et du développement des logiciels ouvrent la voie à la future économie numérique.